Motion Tracking and Potentially Dangerous Situations Recognition in Complex Environment

In recent years, video surveillance systems have been playing a significantly important role in the human safety and security field by monitoring public or private areas. In this chapter, we have discussed the development of an intelligent surveillance system to detect, track and identify potentially hazardous events that may occur at level crossings (LC). This system starts by detecting and tracking objects on the level crossing. Then, a danger evaluation method is built using hidden Markov model in order to predict trajectories of the detected objects. The trajectories are analyzed with a credibility model to evaluate dangerous situations at level crossings. Synthetics and real data are used to test the effectiveness and the robustness of the proposed algorithms and the whole approach by considering various scenarios within several situations

Apprentissage incrémental pour la détection de chute de personnes âgées

International audienceDans ce papier, nous proposons une méthodologie d'évolution supervisée d'un modèle de classification, spécifique à un système de détection de chute de personnes mis au point précédemment. Cette méthodologie met en oeuvre la méthode de détection, un protocole d'apprentissage incrémental ou évolutif, et une méthode d'évaluation et de comparaison des performances, devant conduire à une amélioration des capacités de détection de chutes sur un système embarqué de type caméra intelligente

A method for the automated detection of solar radio bursts in dynamic spectra

The variability of the solar corona, including flares and coronal mass ejections, affects the space environment of the Earth (heating and ionization of the atmosphere, magnetic field disturbances, and bombardment by high-energy particles). Electromagnetic emissions are the first signatures of a solar eruptive event which by modifying the electron density in the ionosphere may affect airborne technology and radio communications systems. In this paper, we present a new method to detect automatically radio bursts using data from the Nançay Decametre Array (NDA) in the band 10 MHz–80 MHz. This method starts with eliminating unwanted signals (Radio-Frequency Interference, RFI and Calibration signals) by analyzing the dynamic spectrum of the signal recorded in time. Then, a gradient median filter is applied to smooth and to reduce the variability of the signal. After denoising the signal, an automated solar radio burst detection system is applied. This system is based on a sequential procedure with adaptive constant-false-alarm rate (CFAR like detector) aimed to extract the spectra of major solar bursts. To this end, a semi-automatic software package is also developed to create a data base of all possible events (type II, III, IV or other) that could be detected and used for our performance assessment

Reconstruction et analyse de trajectoires 2D d'objets mobiles par modélisation Markovienne et la théorie de l'évidence à partir de séquences d'images monoculaires - Application à l'évaluation de situations potentiellement dangereuses aux passages à niveau

The main objective of this thesis is to develop a system for monitoringthe close environment of a level crossing. It aims to develop a perception systemallowing the detection and the evaluation of dangerous situations around a levelcrossing.To achieve this goal, the overall problem of this work has been broken down intothree main stages. In the first stage, we propose a method for optimizing automaticallythe location of video sensors in order to cover optimally a level crossingenvironment. This stage addresses the problem of cameras positioning and orientationin order to view optimally monitored scenes.The second stage aims to implement a method for objects tracking within a surveillancezone. It consists first on developing robust algorithms for detecting and separatingmoving objects around level crossing. The second part of this stage consistsin performing object tracking using a Gaussian propagation optical flow based modeland Kalman filtering.On the basis of the previous steps, the last stage is concerned to present a newmodel to evaluate and recognize potential dangerous situations in a level crossingenvironment. This danger evaluation method is built using Hidden Markov Modeland credibility model.Finally, synthetics and real data are used to test the effectiveness and the robustnessof the proposed algorithms and the whole approach by considering various scenarioswithin several situations.This work is developed within the framework of PANsafer project (Towards a saferlevel crossing), supported by the ANR-VTT program (2008) of the French NationalAgency of Research. This project is also labelled by Pôles de compétitivité "i-Trans"and "Véhicule du Futur". All the work, presented in this thesis, has been conductedjointly within IRTES-SET laboratory from UTBM and LEOST laboratory fromIFSTTAR.Les travaux présentés dans ce mémoire s’inscrivent dans le cadre duprojet PANsafer (Vers un Passage A Niveau plus sûr), lauréat de l’appel ANR-VTT2008. Ce projet est labellisé par les deux pôles de compétitivité i-Trans et Véhiculedu Futur. Le travail de la thèse est mené conjointement par le laboratoire IRTESSETde l’UTBM et le laboratoire LEOST de l’IFSTTAR.L’objectif de cette thèse est de développer un système de perception permettantl’interprétation de scénarios dans l’environnement d’un passage à niveau. Il s’agitd’évaluer des situations potentiellement dangereuses par l’analyse spatio-temporelledes objets présents autour du passage à niveau.Pour atteindre cet objectif, le travail est décomposé en trois étapes principales. Lapremière étape est consacrée à la mise en place d’une architecture spatiale des capteursvidéo permettant de couvrir de manière optimale l’environnement du passageà niveau. Cette étape est mise en oeuvre dans le cadre du développement d’unsimulateur d’aide à la sécurité aux passages à niveau en utilisant un système deperception multi-vues. Dans ce cadre, nous avons proposé une méthode d’optimisationpermettant de déterminer automatiquement la position et l’orientation descaméras par rapport à l’environnement à percevoir.La deuxième étape consisteà développer une méthode robuste de suivi d’objets enmouvement à partir d’une séquence d’images. Dans un premier temps, nous avonsproposé une technique permettant la détection et la séparation des objets. Le processusde suivi est ensuite mis en oeuvre par le calcul et la rectification du flotoptique grâce respectivement à un modèle gaussien et un modèle de filtre de Kalman.La dernière étape est destinée à l’analyse des trajectoires 2D reconstruites parl’étape précédente pour l’interprétation de scénarios. Cette analyse commence parune modélisation markovienne des trajectoires 2D. Un système de décision à basede théorie de l’évidence est ensuite proposé pour l’évaluation de scénarios, aprèsavoir modélisé les sources de danger.L’approche proposée a été testée et évaluée avec des données issues de campagnesexpérimentales effectuées sur site réel d’un passage à niveau mis à disposition parRFF

Reconstruction and analysis of moving objects trajectoiries from monocular images sequences, using Hidden Markov Model and Dempster-Shafer Theory-Application for evaluating dangerous situations in level crossings

Les travaux présentés dans ce mémoire s’inscrivent dans le cadre duprojet PANsafer (Vers un Passage A Niveau plus sûr), lauréat de l’appel ANR-VTT2008. Ce projet est labellisé par les deux pôles de compétitivité i-Trans et Véhiculedu Futur. Le travail de la thèse est mené conjointement par le laboratoire IRTESSETde l’UTBM et le laboratoire LEOST de l’IFSTTAR.L’objectif de cette thèse est de développer un système de perception permettantl’interprétation de scénarios dans l’environnement d’un passage à niveau. Il s’agitd’évaluer des situations potentiellement dangereuses par l’analyse spatio-temporelledes objets présents autour du passage à niveau.Pour atteindre cet objectif, le travail est décomposé en trois étapes principales. Lapremière étape est consacrée à la mise en place d’une architecture spatiale des capteursvidéo permettant de couvrir de manière optimale l’environnement du passageà niveau. Cette étape est mise en oeuvre dans le cadre du développement d’unsimulateur d’aide à la sécurité aux passages à niveau en utilisant un système deperception multi-vues. Dans ce cadre, nous avons proposé une méthode d’optimisationpermettant de déterminer automatiquement la position et l’orientation descaméras par rapport à l’environnement à percevoir.La deuxième étape consisteà développer une méthode robuste de suivi d’objets enmouvement à partir d’une séquence d’images. Dans un premier temps, nous avonsproposé une technique permettant la détection et la séparation des objets. Le processusde suivi est ensuite mis en oeuvre par le calcul et la rectification du flotoptique grâce respectivement à un modèle gaussien et un modèle de filtre de Kalman.La dernière étape est destinée à l’analyse des trajectoires 2D reconstruites parl’étape précédente pour l’interprétation de scénarios. Cette analyse commence parune modélisation markovienne des trajectoires 2D. Un système de décision à basede théorie de l’évidence est ensuite proposé pour l’évaluation de scénarios, aprèsavoir modélisé les sources de danger.L’approche proposée a été testée et évaluée avec des données issues de campagnesexpérimentales effectuées sur site réel d’un passage à niveau mis à disposition parRFF.The main objective of this thesis is to develop a system for monitoringthe close environment of a level crossing. It aims to develop a perception systemallowing the detection and the evaluation of dangerous situations around a levelcrossing.To achieve this goal, the overall problem of this work has been broken down intothree main stages. In the first stage, we propose a method for optimizing automaticallythe location of video sensors in order to cover optimally a level crossingenvironment. This stage addresses the problem of cameras positioning and orientationin order to view optimally monitored scenes.The second stage aims to implement a method for objects tracking within a surveillancezone. It consists first on developing robust algorithms for detecting and separatingmoving objects around level crossing. The second part of this stage consistsin performing object tracking using a Gaussian propagation optical flow based modeland Kalman filtering.On the basis of the previous steps, the last stage is concerned to present a newmodel to evaluate and recognize potential dangerous situations in a level crossingenvironment. This danger evaluation method is built using Hidden Markov Modeland credibility model.Finally, synthetics and real data are used to test the effectiveness and the robustnessof the proposed algorithms and the whole approach by considering various scenarioswithin several situations.This work is developed within the framework of PANsafer project (Towards a saferlevel crossing), supported by the ANR-VTT program (2008) of the French NationalAgency of Research. This project is also labelled by Pôles de compétitivité "i-Trans"and "Véhicule du Futur". All the work, presented in this thesis, has been conductedjointly within IRTES-SET laboratory from UTBM and LEOST laboratory fromIFSTTAR

An automated solar radio burst detection method in dynamic spectra images

International audienc

Automatic Detection and Recognition of Major Solar Radio Burst Events of Type (II, III and IV)

International audienc

A method for the automated detection of solar radio bursts in dynamic spectra

International audienceThe variability of the solar corona, including flares and coronal mass ejections, affects the space environment of the Earth (heating and ionization of the atmosphere, magnetic field disturbances, and bombardment by high-energy particles). Electromagnetic emissions are the first signatures of a solar eruptive event which by modifying the electron density in the ionosphere may affect airborne technology and radio communications systems. In this paper, we present a new method to detect automatically radio bursts using data from the Nançay Decametre Array (NDA) in the band 10 MHz-80 MHz. This method starts with eliminating unwanted signals (Radio-Frequency Interference, RFI and Calibration signals) by analyzing the dynamic spectrum of the signal recorded in time. Then, a gradient median filter is applied to smooth and to reduce the variability of the signal. After denoising the signal, an automated solar radio burst detection system is applied. This system is based on a sequential procedure with adaptive constant false alarm rate (CFAR like detector) aimed to extract the spectra of major solar bursts. To this end, a semi-automatic software package is also developed to create a data base of all possible events (type II, III, IV or other) that could be detected and used for our performance assessment

An automated solar radio burst method for the detection and classification of major solar disturbances in dynamic spectra images

International audienc

A Unified Deep Framework for Joint 3D Pose Estimation and Action Recognition from a Single RGB Camera

International audienceWe present a deep learning-based multitask framework for joint 3D human pose estimation and action recognition from RGB sensors using simple cameras. The approach proceeds along two stages. In the first, a real-time 2D pose detector is run to determine the precise pixel location of important keypoints of the human body. A two-stream deep neural network is then designed and trained to map detected 2D keypoints into 3D poses. In the second stage, the Efficient Neural Architecture Search (ENAS) algorithm is deployed to find an optimal network architecture that is used for modeling the spatio-temporal evolution of the estimated 3D poses via an image-based intermediate representation and performing action recognition. Experiments on Human3.6M, MSR Action3D and SBU Kinect Interaction datasets verify the effectiveness of the proposed method on the targeted tasks. Moreover, we show that the method requires a low computational budget for training and inference. In particular, the experimental results show that by using a monocular RGB sensor, we can develop a 3D pose estimation and human action recognition approach that reaches the performance of RGB-depth sensors. This opens up many opportunities for leveraging RGB cameras (which are much cheaper than depth cameras and extensively deployed in private and public places) to build intelligent recognition systems